Sau Hiệp định Genève, các cán bộ của Việt Minh (cả dân sự lẫn quân sự) đều được tập kết ra Bắc. Cũng có nhiều cán bộ Việt Minh đã bí mật ở lại. Riêng trường hợp của Phạm Ngọc Thảo, chính Lê Duẩn đã chỉ thị cho ông không tập kết ra Bắc mà ở lại miền Nam để hình thành "lực lượng thứ ba" trong trường hợp Hiệp định Geneve không được đối phương thi hành. Về việc này, nguyên Thủ tướng Võ Văn Kiệt nói: "anh Ba Duẩn rất tin cậy Phạm Ngọc Thảo và đã giao cho đồng chí Thảo một nhiệm vụ đặc biệt".

Lê Duẩn giới thiệu Phạm Ngọc Thảo với Mai Chí Thọ, lúc ấy là người phụ trách Ban Đặc tình Xứ ủy và Hai người khác trong Ban Đặc tình Xứ ủy là Mười Hương và Cao Đăng Chiếm.

Tuy ở lại hoạt động ở miền Nam nhưng Đảng không cho phép Mai Chí Thọ và Cao Đăng Chiếm vào sống ở Sài Gòn, chỉ có Mười Hương là có thể vào Sài Gòn sống hợp pháp vì ông là cán bộ từ ngoài Bắc vào, không ai biết. Do đó, Mười Hương đã bàn bạc cụ thể với Phạm Ngọc Thảo về phương thức hoạt động và trực tiếp liên lạc với Phạm Ngọc Thảo ngay tại Sài Gòn. Ông Mười Hương trở thành “người chỉ huy” Phạm Ngọc Thảo trong thời kỳ đầu, tuy nhiên thời gian này rất ngắn, vì sau đó Mười Hương bị chính quyền Ngô Đình Diệm bắt giam ở Huế.[2]

Phạm Ngọc Thảo trở lại Sài Gòn giữa lúc tình hình rất khó khăn, lực lượng Bình Xuyên gây rối khắp nơi. Vì không chịu ký tên vào giấy "hồi chánh" theo quy định của chế độ Việt Nam Cộng hòa đối với những người đã đi theo Việt Minh không tập kết ra Bắc, ông bị đại tá Mai Hữu Xuân, Giám đốc An ninh Quân đội lùng bắt nhiều lần nhưng đều trốn thoát. Vì vậy, ông không vội tiếp cận với gia đình họ Ngô mà đi dạy học. Vợ ông cũng vậy[3]

Sau cùng, ông về Vĩnh Long dạy học. Vùng này thuộc giáo phận của Giám mục Phêrô Ngô Đình Thục, vốn quen biết gia đình ông từ lâu. Gia đình ông theo Thiên chúa giáo lâu đời, rất thân thiết với Giám mục Ngô Đình Thục. Giám mục Ngô Đình Thục rất quý mến Thảo vì đã từng làm lễ rửa tội cho ông và coi ông như con nuôi. Trong kháng chiến chống Pháp, Phạm Ngọc Thảo từng mời Giám mục Phêrô Ngô Đình Thục vào chiến khu để tranh thủ đồng bào Công giáo ủng hộ kháng chiến.[3] Vì vậy, Giám mục Thục đã bảo lãnh cho ông vào dạy học ở trường Nguyễn Trường Tộ. Sau này, cũng chính Giám mục Thục đã giới thiệu ông với Ngô Đình Nhu và ông được sắp xếp vào làm việc ở Sở Tài chánh Nam Việt.

Nhờ chính sách "đả thực bài phong", khuyến khích những người theo kháng chiến cũ về với "chính nghĩa quốc gia" của Ngô Đình Diệm, ông khôn khéo công khai hết nguồn gốc của mình, kể cả chức tiểu đoàn trưởng cũ, chỉ trừ một điều: mình là Đảng viên Đảng Lao động Việt Nam. Năm 1956, ông được phép đưa vợ con ra Sài Gòn sinh sống, làm việc tại ngân hàng quốc gia; rồi được chuyển ngạch quân sự, mang hàm Đại úy "đồng hóa".

Tháng 5 năm 1956 được sự giới thiệu của ông Huỳnh Văn Lang, Tổng giám đốc Viện Hối đoái và Bí thư Liên kỳ bộ Nam Bắc Việt của đảng Cần Lao, Phạm Ngọc Thảo được cử đi học khóa huấn luyện tại trung tâm Nhân vị tại Vĩnh Long. Và sau đó (tháng 10 năm 1956) ông gia nhập đảng Cần Lao.

Sau khi gia nhập đảng Cần Lao, ông phụ trách tổ quân sự, giữ nhiệm vụ nghiên cứu về chiến lược và chiến thuật quân sự và huấn luyện quân sự cho các đảng viên đảng Cần Lao. Tháng 1 năm 1957 Phạm Ngọc Thảo tham gia biên tập bán nguyệt san Bách Khoa - tạp chí của một nhóm trí thức đảng Cần Lao. Tờ Bách Khoa qua nhiều thăng trầm nhưng vẫn tồn tại cho đến năm 1975.[3]